14 Schätzmethoden Egenschaften von Schätzungen ˆθ Se ˆθ n ene Schätzung enes Parameters θ, de auf n Beobachtungen beruht. ˆθn n θ Konsstenz (Mnmalforderung) Eˆθ n = θ Erwartungstreue Eˆθ n n θ Asymptotsche Erw.treue 573 W.Kössler, Humboldt-Unverstät zu Berln
var ˆθ n möglchst klen: gute, effzente Schätzung wenn var ˆθ n den klenstmöglchen Wert annmmt für alle e-treuen Schätzungen: ˆθ n : optmale Schätzung 574 W.Kössler, Humboldt-Unverstät zu Berln
MSE = var ˆθ n + bas 2 ˆθn = var ˆθ n + (Eˆθ n θ) 2 mnmal oder möglchst klen. Egenschaften sollten möglchst auch be (klenen) Abwechungen von der (Normal-)Vertelungsannahme gelten robuste Schätzung. 575 W.Kössler, Humboldt-Unverstät zu Berln
Schätzmethoden Momentenmethode Man drückt den zu schätzenden Parameter durch de Momente, z.b. E(X), aus. Dann werden de Momente durch de entsprechenden emprschen Momente, z.b. durch X, ersetzt. Maxmum-Lkelhood-Schätzung (ML-Schätzung) Es wrd der Schätzwert für den unbekannten Parameter ermttelt, der am mesten für desen Paramter sprcht (most lkely). 576 W.Kössler, Humboldt-Unverstät zu Berln
Klenste-Quadrat-Schätzung (KQS) Se θ der zu schätzende Parameter. Man geht aus von enem Modell, z.b. Y = g(θ,x ) + ɛ Dannn versucht man de Summe der Fehlerquadrate n =1 n ɛ 2 = (Y g(θ,x )) 2. =1 zu mnmeren (Klenste Quadrate). 577 W.Kössler, Humboldt-Unverstät zu Berln
Bsp. 97 (Momentenschätzung be Normalvertelung) Seen X 1,...,X n N(µ,σ ). µ = EX = ˆµ = X σ 2 = E(X EX) 2 = ˆσ 2 = (X X) 2 = 1 n n (X X) 2 Bsp. 98 (Momentenschätzung be Exponentalvertelung) Seen X 1,...,X n Exp(λ). λ = 1 EX = ˆλ = 1 X =1 578 W.Kössler, Humboldt-Unverstät zu Berln
Bsp. 99 (Momentenschätzung be Bnomalvertelung) Seen X 1,...,X n B(1,p). p = EX = ˆp = X der relatve Antel der Realserungen x = 1. 579 W.Kössler, Humboldt-Unverstät zu Berln
Bsp. 100 (ML-Schätzung be Bnomalvertelung) Beobachten n=1000 Jugendlche. Stchprobe (X 1,...,X n ) X = 1 X = 0 falls Übergewcht festgestellt sonst. De Wkt., daß de beobachtete Stchprobe auftrtt, wenn der Parameter p vorlegt st P(X 1 = x 1,...,X n = x n ) = wobe k = n =1 x. ( ) n p k (1 p) n k, k Der ML-Schätzer st der Wert, der dese Funkton, L n (p), Lkelhood-Funkton genannt, bzgl. p maxmert. Maxmeren 580 W.Kössler, Humboldt-Unverstät zu Berln
statt L n (p): log L n (p) (Arg.Max. st dasselbe). ln L n (p) = ln (( ) n p k (1 p) n k) k = ln (( ) n ) + k ln p + (n k) ln(1 p). k Ableten nach p und Nullsetzen lefert: De enzge Lösung st: k p n k 1 p = 0 ˆp = k n = 1 n Für en relatves Extremum n (0,1) kommt nur deser Wert n Betracht. 581 W.Kössler, Humboldt-Unverstät zu Berln n =1 x
Müssen aber noch de Lkelhood-Funkton an den Rändern betrachten: Für p = 0 und p = 1 wrd ln L(p) =. Also: ˆp ML = k n. 582 W.Kössler, Humboldt-Unverstät zu Berln
Bsp. 101 (ML-Schätzung be Normalvertelung) Lkelhood: f X1,...,X n (x 1,...,x n ), de gemensame Dchtefunkton der X. Seen X 1,...,X n unabhängg, X N(µ, 1). 583 W.Kössler, Humboldt-Unverstät zu Berln
Lkelhood: L n (µ) = = n f X (x ) =1 n =1 1 2π e (x µ) 2 /2 ln L n (µ) = n ln( 2π) + L n (µ) µ = 2 Nullsetzen lefert: n (x µ) =1 ˆµ = X. (Unabhänggket) n =1 ( (x µ) 2 2 ) 584 W.Kössler, Humboldt-Unverstät zu Berln
Bsp. 102 (ML-Schätzung be Glechvertelung auf (0,θ)) Lkelhood: f X1,...,X n (x 1,...,x n ), de gemensame Dchtefunkton der X. Seen X 1,...,X n unabhängg, X R(0,θ), d.h. f X (x ) = 1 θ falls 0 x θ 0 sonst Lkelhood: L n (θ) = = n f X (x ) =1 (Unabhänggket) 1 θ n falls 0 x θ x 0 sonst 585 W.Kössler, Humboldt-Unverstät zu Berln
Maxmal, wenn θ x 1,...,x n, und wenn θ möglchst klen, also ˆθ = max(x 1,...,x n ). 586 W.Kössler, Humboldt-Unverstät zu Berln
Bsp. 103 ( KQS des Lageparameters) Modell: Y = µ + ɛ De Summe der Fehlerquadrate n =1 ɛ 2 = n (Y µ) 2. =1 mnmeren: Dfferenzeren und Nullsetzen lefert: ˆµ KQS = Y. 587 W.Kössler, Humboldt-Unverstät zu Berln
Bsp. 104 (KQS m enfachen lnearen Regressonsmodell) Y = θ 1 + θ 2 X + ɛ 1 n 1 n f(x,θ 1,θ 2 ) = θ 1 X + θ 2 f θ 1 = X f θ 2 = 1 n (Y (θ 1 X + θ 2 )) X = 0 =1 n (Y (θ 1 X + θ 2 )) 1 = 0 =1 588 W.Kössler, Humboldt-Unverstät zu Berln
X Y θ 1 X 2 θ 2 X = 0 Y θ 1 X θ 2 n = 0 De zwete Glechung nach θ 2 auflösen: θ 2 = 1 n Y θ 1 1 n X und n de erste ensetzen: 589 W.Kössler, Humboldt-Unverstät zu Berln
X Y θ 1 X 2 1 Y n X +θ 1 1 n X X = 0 X Y 1 ( Y X θ 1 ( X 2 1 ) X X = 0 n n ˆθ 1 = X Y 1 n X X2 1( n X ) 2 ˆθ 2 = 1 ( Y n ˆθ ) 1 X Y = S XY S 2 X 590 W.Kössler, Humboldt-Unverstät zu Berln
Se θ en zu schätzender Parameter ener Populaton mt Dchte f. Se ˆθ = θ n ene erwartungstreue Schätzung von θ. Dann glt de Cramer-Rao-Unglechung: wobe var(ˆθ) 1 ni(f,θ), I(f,θ) = E ( ln f(x,θ) θ ( ln f(x,θ) ) 2f(x,θ)dx = θ de sogenannte Fsher-Informaton st. ) 2 591 W.Kössler, Humboldt-Unverstät zu Berln
Bespele a) f normal, f(x,µ) = 1 e (x µ)2 2σ 2 2πσ ln f(x,µ) = ln( 2πσ) ln f(x,µ) µ = x µ 1 σ σ I(f,µ) = 1 σ 2 (x µ σ (x µ)2 2σ 2 ) 2 f(x,µ)dx = 1 σ 2. Also: varx σ2 n. 592 W.Kössler, Humboldt-Unverstät zu Berln
Verglechen Se mt: varx = 1 n 2 n =1 varx = σ2 n. 593 W.Kössler, Humboldt-Unverstät zu Berln
b) f exponental f(x,λ) = 1 λ e 1 λ x falls x 0 0 sonst. Es glt: I(f,λ) = 1 λ 2 (ÜA, 2 P.) De Cramer-Rao-Schranke st also: 1 ni(λ) = λ2 n. Anderersets: varx = λ2 n. 594 W.Kössler, Humboldt-Unverstät zu Berln
c) F Doppelexponental (=Laplace) f(x,λ) = 1 1 λ e 1 λ x falls x 0 2 1 e 1 λ x falls x < 0 λ 595 W.Kössler, Humboldt-Unverstät zu Berln
ln f((x,µ) = ln 2 ln λ + x 1 falls x 0 λ 1 falls x < 0 ln f(x,λ) = 1 λ λ + x 1 falls x 0 λ 2 1 falls x < 0 I(f,λ) = 1 ( ( 1 2λ 0 λ + x ) 2 x e λ 2 λ dx + 0 ( 1 λ x ) ) 2 x e λ 2 λ dx = 1 2λ 2 + 1 2λ 2 = 1 λ 2. 596 W.Kössler, Humboldt-Unverstät zu Berln
Cramer-Rao-Schranke Verglechen Se mt (ÜA) λ 2 n. varx = 1 n 2 n =1 varx = 2 λ2 n. Bem. 23 Für den Medan x 0.5 glt: var(x 0.5 ) 1 λ2 n. (zusätzlche frewllge ÜA, 10 P.) 597 W.Kössler, Humboldt-Unverstät zu Berln
Satz: Se f Dchte der Populaton, und ˆθ ene erwartungstreue Schätzung des Parameters θ. Dann glt: wobe var(ˆθ) 1 ni(f,θ), ( ln f(x,θ) I(f,θ) = E θ ) 2 falls der Erwartungswert exstert. Bewes: Se x = (x 1,...,x n ) ene unabhängge Stchprobe und L(x,θ) := n f(x,θ) =1 de sogenannte Lkelhood der Stchprobe. 598 W.Kössler, Humboldt-Unverstät zu Berln
Offenbar glt L(x,θ)dx = 1. R n und demzufolge (wr setzen voraus, Dfferentaton und Integraton dürfen vertauscht werden.) θ R n L(x,θ)dx = 0 R n θ L(x,θ)dx = 0 599 W.Kössler, Humboldt-Unverstät zu Berln
Weter glt, da ˆθ erwartungstreu, θ Eˆθ = θ ˆθL(x,θ)dx = θ R n ˆθL(x,θ)dx = 1 R n L(x,θ) ˆθ dx = 1 R θ n }{{} ln L(x,θ) ˆθ L(x,θ)dx = 1 R θ n ( ) ln L(x,θ) E ˆθ = 1 θ 600 W.Kössler, Humboldt-Unverstät zu Berln
Auf den lnken Term n der vorletzten Glechung wenden wr de Cauchy-Schwarzsche Unglechung an, 601 W.Kössler, Humboldt-Unverstät zu Berln
1 = ln L(x,θ) ˆθ R θ n L(x,θ)dx θ θ L(x,θ)dx R } n {{} ln L(x,θ) = (ˆθ θ) L(x,θ)dx R θ n ( ) 2 ln L(x,θ) (ˆθ θ) 2 L(x,θ)dx L(x,θ)dx R n R θ ( n n =1 = var(ˆθ) ln f(x ) 2,θ) L(x,θ)dx R θ n n ( ) 2 ln f(x,θ) = var(ˆθ) L(x,θ)dx θ =1 R n = varˆθ n I(f). = 0 602 W.Kössler, Humboldt-Unverstät zu Berln
De zu den gemschten Summanden gehörenden Integrale snd alle Null, ( j): ( )( ln f(x,θ) ln f(xj,θ) R 2 θ f(x,θ) = R θ 2 θ f(x j,θ) θ ) f(x,θ)f(x j,θ)dx dx j dx dx j = 0. 603 W.Kössler, Humboldt-Unverstät zu Berln